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(57) Abstract 

The invention relates to a method and an arrangement for 
partem recognition on the basis of statistics. According to said 
method, for an object to be recognised on the basis of a complete 
set of two-class or multiclass classifiers the association with each 
target class of the class set is estimated with a numerical value which 
is produced by cascaded use of polynomial classifiers. According 
to the invention, on a learning sample in which all class patterns 
to be recognised are represented to a sufficiently significant extent 
there is a selection, from all the two-class or multiclass classifiers 
by way of their estimation vector spectrum, of those two-class 
or multiclass classifiers with estimations contributing the most to 
minimise a scalar quantity calculated over the estimation vector 
spectrum and having high separating relevance. The selected two- 
class or multiclass classifiers are subsequently used to form, via an 
expanded learning sample, estimation vectors from which expanded 
characteristic vectors are produced by polynomial linking. An 
evaluation classifier is formed on the basis of said characteristic 
vectors for estimating all target classes. 
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Die Erfindung betrifft ein Verfahren und eine Anordnung zur Mustererkennung auf statistischer Basis, bei dem fttr ein zu erkennendes 
Objekt auf Basis eines vollstandigen Ensembles von Zwei- oder Mehrklassenklassifikatoren die Zugehorigkeit zu jeder Zielklasse des 
Klassensatzes mit einem numerischen Wert geschiitzt wird, der sich durch kaskadierte Anwendung von Polynomklassifikatoren ergibt. 
ErfindungsgemaG erfolgt aus alien Zwei- oder Mehrklassenklassifikatoren Uber deren Schatzvektorspektrum auf einer Lernstichprobe, in der 
aile zu erkennenden Klassenmuster gentigend stark vertreten sind, eine Auswahl von denjenigen Zwei- oder Mehrklassenklassifikatoren, 
deren Schatzungen am starksten zur Minimierung eines Uber das Schatzvektorspektrum errechneten skalaren MaBes mit hoher Trennrelevanz 
beitragen. Mittels der ausgewShltcn Zwei- oder Mehrklassenklassifikatoren werden anschlieflend Uber eine erweiteite Lernstichprobe 
Schatzvektoren gebildet, aus denen durch polynomiale Verknilpfung expandierte Merkmalsvektoren erzeugt werden, auf deren Basis ein 
Bewertungsklassifikator zur Schat2ung auf aile Zielklassen gebildet wird. 
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Verfahren und Anordnung zur Mustererkennung auf 

statistischer Basis 

BESCHRE1BUNG: 

Die Mustererkennung gewinnt im Zeitalter der elektronischen Datenverarbeitung zunehmend 
an Bedeutung. Ihr Einsatzgebiet erstreckt sich von der Automatisierungstechnik bis zur ma- 
schinellen Bi!d - und Textverarbeitung, wo sie zur automatischen Briefverteilung (AdreBlesen) 
oder zur Auswertung von Formularen oder Dokumenten eingesetzt wird. Ziel der Musterer- 
kennung ist es dabei, einer elektronisch vorverarbeiteten Bildinformation eine Kennung zuzu- 
ordnen, die mit hoher ZuverlaBigkeit mit der wahren Bedeutung des Musters zusammenfallt. 
Statistisch basierte Mustererkennungsverfahren bewerten eine digitalisierte Bildinformation mit 
Schatzungen, aus denen sich der Grad der Zugehdrigkeit des Musters zu einer Klasse von Mu- 
stern ablesen laBt. Bei K gegebenen Zielklassen erhalt im allgemeinen diejenige Klasse den 
Zuschlag, deren Schatzergebnis dem Maximum aus alien K Schatzungen entspricht. Ein Er- 
kennungssystem gilt als umso zuverlassiger, je ofter die als maximal geschatzte Zielklasse mit 
der wahren Zielklasse (Bedeutung) iibereinstimmt. Ein bisher verwendeter Netzklassifikator, 
bestehend aus einem vollstandigen Ensemble von Zweiklassen-Klassifikatoren, der A' Zielklas- 
sen zu entscheiden hat, entsteht dadurch, daB zu alien moglichen K*(K — 1)/2 Klassenpaaren 
je ein Zweiklassenklassifikator berechnet wird. Im Lesebetrieb gibt bei vorliegendem Muster 
jeder der Zweiklassenklassifikatoren eine Schatzung der Zugehdrigkeit des Musters zu einer 
der beiden zugrunde liegenden Zielklassen ab. Es entstehen K * (K — l)/2 Schatzungen, die 
untereinander nicht unabhangig sind. Aus diesen A' * (A' - l)/2 Schatzungen sollen nun K 
Schatzungen gebildet werden, fiir jede Zielklasse eine. Die Theorie gibt fur diesen Zusammen- 
hang eine mathematische Regel an, die in Wojciech W. Siedlecki , 
A formula for multiclass distributed classifiers, 
Pattern Recognition Letters 15 (1994) 

beschrieben ist. Die Praxis der Klassifikatoren zeigt nun, daB die Anwendbarkeit dieser Regel 
nur unzureichend erfiillt ist, da die Zweiklassenklassifikatoren keine statistischen RiickschluB- 
wahrscheinlichkeiten liefern, sobald sie ein Fremdmuster. welches nicht zu ihrem adaptierten 
Klassenbereich gehort, schatzen. Fiir die Praxis bedeutet dies, daB Abschaltmechanismen die- 
jenigen Klassifikatoren, die fiir das Muster nicht zustandig sind, moglichst friihzeitig deaktivie- 
ren miissen. Die bisher in der Praxis verwendeten Abschaltregeln sind weitgehend heuristischer 
Pragung. Dadurch flieBt in die Bearbeitung von Netzklassifikatoren ein statistisch nicht kon- 
trolliertes Element von Willkiir ein. Durch diese regelbasierte Abarbeitung von GroBen, die 
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einem messbaren statistischen Verhalten unteriiegen, verschlechtern sich die Erkennungser- 
gebnisse wesentlich. Regelbasierte Abarbeitung von Netzklassifikatoren verhindert ferner die 
Moglichkeit, bei veranderten Stichproben das Klassifikatorsystem efFektiv nachzutrainieren. Bei 
30 oder mehrzu entscheidenden Klassen steht zudem der Einsatz von Netzklassifikatoren vor 
prinzipiellen Problemen: 

1. Die Anzahl zu speichernder Komponenten (Paarklassifikatoren) wachst quadratisch mit 
der Klassenanzahl (A' * (A' - l)/2). 

2. Eine Bewertung und Zusammenfassung der komponentbezogenen Schatzungen zu einer 
zuverlassigen Gesamtschatzung wird mit wachsender Klassenzahl immer unsicherer. 

3. Anpassungen eines Netzklassifikators an landesspezifische Schreibstile verursachen im 
Adaptionsbetrieb erhebliche Kosten. 

Der im Anspruch 1 und 8 angegebenen Erfindung liegt das Problem zugrunde, ein Musterer- 
kennungsverfahren auf statistischer Basis und eine Anordnung zur Realisierung des Verfahrens 
zu schaffen, das unter Vermeidung der geschilderten Schwierigkeiten des Standes der Technik 
bei hoher Klassenzahl und vertretbaren Kosten allgemeine Erkennungsaufgaben echtzeitfahig 
lost, wobei eine regelbasierte Abarbeitung von Netzklassifikatoren vermieden wird. 
Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, daB durch Vermeidung 
heuristischer Abschaltregeln die Erkennungszuverlassigkeit erheblich gesteigert wird. Nach der 
Auswahl der Zwei- oder Mehrklassenklassifikatoren und der Erzeugung des Bewertungsklassi- 
fikators ist die gesamte Statistik der Anwendung in der dem Bewertungsklassifikator zugrunde 
gelegten Momentenmatrix reprasentiert. Da nur die reduzierte Sequenz der Zwei- oder Mehr- 
klassenklassifikatoren im Verbund mit dem Bewertungsklassifikator abgespeichert werden muB, 
wird eine sehr okonomische Speicherauslastung erreicht. Da Polynomklassifikatoren alle Ope- 
rationen im AnschluB an die Bildmerkmalsaufbereitung mittels Addition, Multiplikation und 
Anordnen von naturlichen Zahlen bewaltigen, entfallen komplexere Rechnungen wie FlieBkom- 
masimulation auf der Zielhardware vollstandig. Auch auf das Mitfiihren speicheraufwendiger 
Tabellenwerke wird verzichtet. Diese Umstande erlauben es, beim Design der Zielhardware alles 
Gewicht auf Optimierung der Laufzeit zu legen. Vorteilhafte Ausgestaltungen der Erfindung 
sind in den Unteranspruchen angegeben. So wird in der Ausgestaltung nach Patentanspruch 2 
als skalares TrennmaB (KlassifikationsmaB) die Summe der Fehlerquadrate im Entscheidungs- 
raum gewahlt. Der Vorteil besteht hierbei darin, daB sich im Verlauf der linearen Regression, 
die mit der Berechnung des linearen Klassifikators einhergeht, explizit eine Rangordnung nach 
MaBgabe des Beitrages zu Minimierung des Restfehlers unter den Komponenten aufbaut. Diese 
Rangordnung wird benutzt, urn eine Auswahl aus den verfiigbaren Zwei- oder Mehrklassen- 
klassifikatoren zu treffen, die als Ergebnis das reduzierte Set der Paarklassifikatoren bildet. Das 
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Verfahren zur Minimierung des Restfehlers ist detailliert in Schiirmann, Statistischer Polynom- 
klassifikator, R.Oldenburg Verlag ,1977 beschrieben. 

Die Ausgestaltung nach Patentanspruch 3 verwendet als skalares TrennmaB die Entropie 
im Verteilungsraum der Schatzvektoren. Zur Auswertung der Entropie ist dabei die Auf- 
tretenshaufigkeit jedes Zustandes aller Paarklassifikatorschatzungen uber die Menge aller 
Zustande zu ermitteln. Dann wird jenes Teilsystem bestimmt, das die geringste Entropie produ- 
ziert. In der Ausbildung nach Patentanspruch 4 wird eine groBere Zielklassenmenge in mehrere 
Zielklassenmengen aufgeteilt, fur die dann jeweils eine Auswahl der Zwei- oder Mehrklassen- 
klassifikatoren und daraus der Bewertungsklassifikator erzeugt wird. Aus den Ergebnissen der 
Bewertungsklassifikatoren wird dann eine resultierende Gesamtschatzung ermittelt. Die resul- 
tierende Gesamtschatzung kann dann auf verschiedene Arten berechnet werden: 

1. Bet der Ausgestaltung nach Patentanspruch 5 wird aus den Ergebnisvektoren der Bewer- 
tungsklassifikatoren ein kartesisch erweiterter Produktvektor gebildet, aus dem dann ein 
die Gesamtschatzung ermittelnder, resultierender quadratischer Bewertungsklassifikator 
gebildet wird. 

2. In der Ausgestaltung nach Patentanspruch 6 wird ebenfalls ein kartesischer Produktvek- 
tor gebildet. Dieser wird mittels einer Unterraumtransformation U in einen verkurzten 
Vektor uberfiihrt, von dem nur die wichtigsten Komponenten entsprechend der Eigen- 
wertverteilung der Transformationsmatrix U zur Adaption eines quadratischen Klassifika- 
tors verwendet werden. Dieser quadratische Klassifikator bildet dann den transformierten 
und reduzierten Vektor zu einem Schatzvektor auf die Zielklasse ab. 

3. In der Auskleidung gemaB Patentanspruch 7 erzeugt ein Metaklassenklassifikator, der 
uber Gruppen von Klassenmengen trainiert wird, vor Aktivierung der jeweiligen Aus- 
wahl der Zwei- oder Mehrklassenklassifikatoren Schatzungen uber die Gruppen. Danach 
werden diejenigen Zwei- oder Mehrklassenklassifikatoren fur die Zeichen der Gruppen, 
deren Schatzwert uber einer festgelegten Schwelle liegt, aktiviert. Zur Ermittlung der 
Gesamtschatzung werden dann die Gruppenschatzungen mit den Schatzungen der je- 
weiligen zugehorigen Zeichenbewertungs- Klassifikatoren fur die Zeichenzielklassen nach 
einer einheitlichen Regel so verkniipft, daB die Summe uber alle so erhaltenen Zei- 
chenschatzungen eine auf 1 normierbare Zahl ergibt. Die 1. Variante liefert die genaue- 
sten Resultate bei groBten rechentechnischem Aufwand, wahrend die 2. und 3. Variante 
zur Reduktion des rechentechnischen Aufwandes beitragen. 

Die Umsetzung der Erfindung kann in 5 Phasen unterteilt werden. Jede Phase der Erfindung 
wird im folgenden Ausfuhrungsteil unter Bezugnahme auf je eine Figur naher erlautert. 
Dabei zeigen 
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Fig. 1 den Ablauf bei der Erzeugung eines vollstandigen Satzes von Paarklassifikatoren eines 
Netzklassifikators. 

Fig. 2 den Ablauf bei der Erzeugung eines reduzierten Satzes von Paarklassifikatoren. 

Fig. 3 den Ablauf bei der Erzeugung eines Bewertungsklassifikators. 

Fig. 4 den Ablauf der Musterkennung in einer erfindungsgema'Ben Anordnung. 

Fig. 5 den Ablauf bei der Musterkennung mit einer groBen Klassenzahl unter Verwendung 
eines Metaklassenklassifikators. 

Die Erfindung wird im folgenden anhand von Ensembles von Zwei-Klassenklassifikatoren (Paar- 
klassifikatoren) erlautert, ist aber auf diese Einschrankung prinzipiell nicht beschrankt. 

• Erzeugung eines Netzklassifikators : 

Nach Fig.l startet dieser ProzeBschritt mit den Binarbildern. Zu jedem Bild aus der 
Lernstichprobe liegt dann ein binarisierter Bilvektor u vor. Im Prinzip sind die schwar- 
zen Pixel des Bildes mit 1 reprasentiert , wahrend die weiBen Pixel mit 0 codiert sind. 
Zusatzlich ist zu jedem Muster eine vom Menschen vergebene Referenzkennung erstellt, 
die die Bedeutung des Musters eindeutig erfaBt. Die Normierung transformiert nun auf 
Basis von Messungen der lokalen und globalen Pixelproportionen das Binarbild in ein 
Graubild. Dabei ensteht der Merkmalsvektor v, der 256 Komponenten aufweist, wobei 
jede Komponente Grauwerte aus dem Skalierungsbereich [0,255] enthalt. Die Vektoren 
v werden einer Hauptachsentransformation mit der Matrix B unterzogen. Das Resultat 
dieser Matrix-Vektormultiplikation ist der Bildvektor w. Der Bildvektor w wird nun mit- 
tels Poly nom expansion nach einer festen Abbildungsvorschrift zum Vektor x expandiert. 
Fiir einen 2-dimensionalen W- Vektor (wl,w2) wird zum Beispiel mit der Verkniipfungs- 
vorschrift ; 

PSLl = LIN1,2QUAD11, 12,22 

der folgende x- Vektor erzeugt : 

x = (1, w\,xd2, vol * w\,w\ * w2 y w2 * w2) 

Die 1. Komponente ist immer mit 1 vorbelegt, damit die spater erzeugten Schatzwerte 
in der Summe auf 1 normierbar werden. Uber die Menge der polynomial erweiterten 
Vektoren {£} werden dann empirische Momentenmatrizen Af {J nach Form el(2) fiir jedes 
Paar (ij) von Klassen erzeugt. Die Klasse % enthalt dabei nur Zeichen r die der Mensch 
als zur Klasse i gehorig referenziert hat. Jede Momentenmatrix wird nach der in 
Schiirmann J. , Poly nom klassifikatoren fiir die Zeichenerkennung, 
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beschriebenen Methode einer Regression unterzogen. Nach der Formel(l) ergeben sich 
dann zu jedem Klassenpaar die Klassifikatoren Aij. Als Netzklassifikator ist damit 
ein Ensemble von K * (A' — l)/2 Paarklassifikatoren entstanden.Jeder dieser Paarklassi- 
fikatoren (Zwei- Klassen-Entscheider ) ist so iiber entsprechende Musterdaten trainiert, 
daB er genau 2 aus den K zur Disposition stehenden Zielklassen erkennt. Es gelten fol- 
gende Zusammenhange : 

MiJ)[k] = £ M-\iJ)[k 9 1} * *(t)[/] * P(0 (1) 
mit 

M(iJ)[kJ) = — ^— Yl *{*)k*{*)i (2) 

z ^ 3 > {<'.;)} 

— (empirische Momentenmatrix 2,Ordnung) 
z {i>j) — Anzahl Zeichen der Klassen 

,wobei x(i)[/] der Mittelwertvektor zum Merkmalsvektor x(i) in Kom ponentendarstellung 
ist und p(i) die Auftretenshaufigkeit der Klasse i ist. Bei vorliegendem Merkmalsvektor 
f schatzt der Klassifikator A(i, j) den Wert d(i,j) auf die Klasse i , wobei gilt 

d(iJ) = 5lA(i y j)[l)*x[l) (3) 
i 

Die Klassifikatorkoeffizienten A(i,j)[l) sind dabei so eingestellt, daB immer gilt : 

d(iJ)+d(j,i) = l • (4) 
• Reduzierung der Anzahl der Paarklassifikatoren: 

Dieser ProzeBschritt ist in Fig.2 schematisiert. Nach Erzeugung eines Netzkiassifikators 
wird dessen Schatzvektorspektrum {d(i, j)} iiber eine klassenweise annahernd gleichver- 
teilte Lernstich probe , in der alle zu erkennenden Klassenmuster genugend stark vertreten 
sind, aufgenommen. Die Klassifikation erzeugt dabei aus den hauptachsentransformier- 
ten Bildvektoren w zunachst polynomial erweiterte Vektoren x(w). Das Spektrum der 
Paarklassifikatoren ist die Menge aller d-Vektoren {<?}, die durch Klassifikation der Lern- 
stichprobe mit alien Paarklassifikatoren entsteht. Ein einzelner d-Vektor entsteht da- 
durch , daB zu einem erweiterten Bildvektor x eines Zeichens der Lernstichprobe fiir 
jeden Paarklassifikator A {j je ein Skalarprodukt mit dem Vektor x durchgefiihrt wird 
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und die Ergebnisse der Skalarprodukte dann in der Reihenfolge der Paarkiassifikatoren in 
den Vektor d eingetragen werden. Im folgenden wird iiber statistische Operationen auf 
der Merkmaismenge {d(ij)} dasjenige Teilsystem von Paarkiassifikatoren {A(i a J Q )} 
ermittelt r das als Zielvorgabe ein skiares MaB, das hohe Trennrelevanz besitzt, mini- 
miert. Beispielhaft wird das Reduktionsverfahren anhand der folgenden beiden skalaren 
KlassifikationsmaBe erlautert: 

- Summeder Fehlerquadrate S 2 im D(I) Entscheidungsraum 

Jf^jbiDi-Yi)* (5) 
E E Aft>*d{j,k) (6) 

J = l k=j+l 

Schaizung des Klassifikators au f Klasse I 
fl falls z£{I) 
1 0 sonst 

Der Klassifikator A Lin wird dabei nach der Gleichung (1) erzeugt. Er ist deshalb linear, 
da zur Berechnung der Momentenmatrix nach Gleichung(2) als x- Vektor der urn 1 an der 
l.Stelle expandierte lineare d-Vektor d eingeht, der aus den geordneten Paarschatzungen 
d(ij) aufgebaut ist. Diese Variante bietet den Vorteil t daB sich im Verlauf der linearen 
Regression, die mit der Berechnung des linearen Klassifikators Af*j] k einhergeht, explizit 
eine Rangordnung nach MaBgabe des Beitrages zur Minim ierupg des Restfehlers unter 
den Komponenten d(i,j) aufbaut. Diese Rangordnung wird benutzt, um eine Auswahl 
aus den K * (A' - l)/2 verfiigbaren Paarkiassifikatoren zu treffen, die als Ergebnis dann 
das reduzierte Set der Paarkiassifikatoren bilden. Auf das Verfahren zur (sukzessiven) 
Minimierung des Restfehlers braucht hier nicht naher eingegangen zu werden . Es ist 
detailliert in 

Schiirmann J. , Polynomklassifikatoren fiir die Zeichenerkennung t Kapitel 7 beschrie- 
ben. Bei der Auswahl beschrankt man sich derzeit auf die 75 nach der Rangordnung 
wichtigsten Komponenten. Diese Beschrankung hangt von der Hauptspeicherkapazitat 
der zur Adaption verwendeten Rechenmaschine ab und stellt somit keine prinzipielle Be- 
schrankung dar. Das Ergebnis der linearen Regression iiber die Merkmaismenge {d(ij)} 

ist somit eine geordnete Menge J a )}a=i 75 von Paarkiassifikatoren t die mit 

wachsendem Index a einen fallenden relativen Beitrag zur Minderung des quadratischen 



S 2 

wobei gilt 
Yi 
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Restfehlers liefern. Im weiteren Adaptionsverlauf wird nur noch diese ausgewahlte Menge 
an Paarklassifikatoren weiter verwendet. 



- Entropie im d(i^j) Verteilungsraum 

Zur Bildung der Entropie H des unstrukturierten Ensembles der Zwei-Klassen- 
Entscheider ist es notwendig, die folgenden Ausdruckezu berechnen : 



= "EE P(I\d(i,j))*lof, 2 p(I\d(i,j))*p(d(iJ)) (8) 

Der Ausdruck p(I\d(i,j)) ist per definition em die Bayes'sche RiickschluBwahrscheinlich- 
keit dafiir, daB der Klassifikator A(i,j) bei gegebener Schatzung d(i,j) ein Muster der 
Klasse / klassifiziert hat. Unter Verwendung der Bayes'schen Forme! : 



„r - pW)*pU) (q , 
a ) v^K TTT; TT\ ( 9 ) 



und der folgenden Definition : 

Ni,j,a,j '■= Anzahl Zeichen der Klasse J , fur die gilt 



UR + {OR - UR)/MAX * (a - 1) < d(t, j) < UR + (Oi? - UR)/MAX * a (10) 

a = 1 MAI (11) 

wird es moglich, die Entropie H durch eine empirische Entropie H" beliebig genau zu 
approximieren. Die Parameter : 
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= An z a hi Histogram™,/ acher 



werden auf Basis des Schatzvektorspektrums festgelegt. Es werden dann die GroBen 
Nij t0 .j iiber die Lemstichprobe von Mustern ausgezahlt. Nach Ermittelung der N iJtQtJ 
sind die folgenden GroBen errechenbar : 

= E"o (12) 

, MAX K a; 

= -jj E E^./*^ r A >7 (is) 



-Mo>./ * J:? N »°'' ; i < ^ < MAX 



J -I Ct=l 



0 y/DOT(iJ;iJ) * DOT(k,l;k,l) 



(14) 



0 ; sonst 

K MAX 

DOT(i,j;kJ) := E E WW * (15) 



jDOT(iJ;i,j)*DOT{kJ;kJ) 
ANG{i,j;k,l) = &rccos COS(i,j;k, I) (17) 

-M/IX < p < +MAX (18) 



(19) 



CO/r(,' i i;t,0 := — ^ ^ [J1 [Q] - y * ~ * - A (20) 

0 y/DOT(i,j;i,j)*DOT(kJ; kj) 

COR(i,j;k,l) := ma.x{COR + (i,j; k, I); C0R~ k, I) } 

(21) 
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Nach Durchfiihrung der Berechnung sind alle mitder Entropie verbundenen statistischen 
GroBen ermittelt. Es ist nun jenes Teilsystem zu bestimmen, das 

1. in der Summe seiner Einzelentropien eine minimale Gesamtentropie produziert 
und 

2. dessen Komponenten untereinander statistisch moglichst geringe Korrelationen auf- 
weisen. 

Beiden Forderungen wird durch Befolgung derfolgenden Auswahlkriterien Rechnung ge- 
tragen : 



1. Entropie-Rangordnung: 

Lege die bis auf Klassifikatoren gleicher Entropie eindeutige Folge A(i Q ,j a ) fest 
mit : 

H U ^ H U < - ^ "Li„ (22) 

2. Induktionsanfang : 

Wahle A(i u ji) := -A(*i,ji) als Startkandidat. Dies ist der Klassifikator minimaler 
Entropie. 

3. InduktionsschluB von k auf k + 1 : 

Es seien k Kandidaten A(ii^ji) A(ik,jk) ausgewahlt, wobei 

H Lh ^ < ■ < ^.J> == HLj m ( 23 ) 

und 

3A(i my J m ikyjk) ; k < m <n (24) 

und 

ANG(i«Ja\ipJp) > Qcrit ; 1 < a < 0 < k (25) 
Bestimme ein kleinstes / mit 



, so daB gilt: 



/ = l,...,n - m 



(26) 
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ANG(i a J a ;i m + h j m +i) > Q crit ; af=l s ...,*: (27) 
Falls / existiert, wahle : 

:=>l(im+/,im+() (28) 
andernfalls terminiere mit A: Kandidaten. 

Der freie Winkelparameter kann dutch Gradientenverfahren so eingestellt wer- 

den, daB eine definierte Anzahl von ausgewahlten Komponenten entsteht. Eine Ver- 
feinerung des Auswahlkriteriums wird durch Minimierung des Korrelationskoeffizienten 
COR{i y j;kJ) erreicht. Die Filterbedingung(25) lautet in diesem Falle: 

COR(i*J a \t0,] 0 ) < Xcru ; 1 < a < 0 < k (29) 

Der maximal zugelassene Korrelationskoeffizient zwischen je 2 Paarklassifikatoren ist 
damit durch Xcrit limitiert. Der Korrelationskoeffizient erfiillt ferner die Symmetriebe- 
dingungen: 

COR{iJ;k,l) = COR(j,i;k t l) (30) 
COR(iJ;k,l) = COR(i,j;l,k) (31) 
COR(iJ;k,l) = COR(k,l;i,j) (32) 

Die Methode ist fur obengenannte KlassifikationsmaBe ausgefiihrt ( ist aber darauf prin- 
zipiell nicht beschrankt. Die Unteranspriiche des Patents beziehen sich auch auf Aus- 
pragungen der Methode, die auf anderen KlassifikationsmaBen beruhen. 

• Erzeugung eines Bewertungsklassifikators : 

Dieser ProzeBschritt ist in Fig. 3 einzusehen. Nach Erzeugung der reduzierten Sequenz 
von Paarklassifiktoren {A tojo } ( die in der Fig.3 als (RNK) bezeichnet werden, werden 
diese iiber eine erweiterte Lernstich probe, die mindestens 9000 Muster pro Entschei- 
dungsklasse beinhaltet, zur Berechnung von Schatzvektoren verwendet. Es entsteht die 
Merkmalsmenge {d(i a ,j a )} , die aus einzelnen Vektoren der Dimension 75 bestehen, 
wobei fur jedes Muster die Zielkennung ( Bedeutung des Musters ) synchron aus der 
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Bildmerkmalsmenge eingetragen ist. Uber jeden Merkmalsvektor erfolgt eine quadrati- 
sche Erweiterung zu einern polynomial verknupften Vektor x. Es wird dann auf Basis der 
Vektoren x zu jeder Klasse / eine Momentenmatrix M(i) erzeugt. Die Gesamtmomen- 
tenmatrixM wird durch gewogene Mittelung uber alle klassenweisen Momentenmatrizen 
M(i) erzeugt. Die Regression erzeugt dann die klassenweisen Bewertungsklassifikatoren 
nach der folgenden Formel : 

A (l) = M 1 * £ {l) * P(I) (33) 

wobei P(I) die Auftretenshaufigkeit der Klasse / ist. Damit ist ohne weitere Hypothesen 
uber den Zusammenhang zwischen Paarklassifikatorschatzungen und Gesamtschatzung 
fur die einzelnen Klassen ein Instrument geschaffen, das diesen Zusammenhang aus der 
approximativen statistischen Verteilung im d(i,j) -Raum errechnet. Die rechnerische 
Approximation an den optimalen Zusammenhang zwischen Paarschatzungen und Ge- 
samtschatzung ist umso besser, je genereller die zugrunde gelegte Lernstichprobe ist. 
Die Erfolge der Methode zeigen insbesondere, daB das MaB an Willkur bei der Auswahl 
geeigneter Lernstichproben begrenzter ist als jenes MaB an Willkur, das bei der Kon- 
struktion eines hypothetischen mathematischen Zusammenhangs gegeben ist. Mit der 
Erzeugung eines reduzierten Sets von Paarklassifikatoren und dem an dieses gekoppelten 
Bewertungsklassifiktors ist die Adaptionsphase abgeschlossen.Die gesamte Statistik der 
Anwendung ist nun in der dem Bewertungsklassifikator zugrunde gelegten Momenten- 
matrix reprasentiert. Diese Momentenmatrix wird fur folgende Adaptionsvorgange im 
Archiv verwaltet. Zur Integration ins Produkt gelangen lediglich die reduzierte Sequenz 
der Paarklassifikatoren im Verbund mit einem passenden Bewertungsklassifikator. Das 
Verfahren erlaubt damit die Erzeugung extrem verdichteter Informationseinheiten (Mo- 
mentenmatrizen) , die eine gegebene Anwendung der Mustererkennung reprasentieren 
und als Startobjekte fiir kiinftige Iterationen (landesspezifische Anpassungen) verwend- 
bar sind. 

• Einsatz des erfindungsgemaBen Verfahrens in einer entsprechenden Anordnung: 

Dieser ProzeBschritt ist in Fig. 4 schematisiert. Das Verfahren stellt zur Anwendung 
in einem Echtzeitsystem die geordnete reduzierte Sequenz der Paarklassifikatoren und 
einen fiir die jeweilige Anwendung passenden Bewertungsklassifikator zur Verfugung. 
Bei unzureichender Kenntnis, welcher Bewertungsklassifikator die auf die Anwendung 
besten Ergebnisse liefert, kann das Angebot erhoht werden und ein Lesetest erweist 
den optimalen Bewertungsklassifikator. Die Minimalanforderung an eine Zielhardware 
bedingt das Vorhandensein der folgenden Komponenten: 
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1. NORM : Ein Modul, welches die binarisierten Merkmalsvektoren mit den dem Stand 
der Technik gemaBen Normierverfahren transformiert und in einen Eingangsvektor 
konstanter Lange (v-Vektor) ablegt. 

2. POLY : Ein Modul, welches nach einerfesten Abbildungsvorschrift einen normierten 
w-Vektor in einen polynomial erweiterten x-Vektor transformiert, der als Eingangs- 
vektor zur Klassifikation dient. 

3. MAT : Ein Matrixmultiplizierwerk, welches uber externe Mikroprogramme gesteu- 
ert, Skalarprodukte zwischen Integervektoren berechnet. 

4. STORE: Ein Speicher zur Ablage von Zwischenwerten und zum Adressieren der 
Klassifikatorkoeffizienten. 

5. ALGO : Ein Befehlregister zum Ablegen von Steuerbefehlen bzw. ausfuhrbaren 
Maschinecodes. 

Der Speicher wird in eine Einheit ST0RE1 zum Ablegen und Lesen von Zwischenergeb- 
nissen und in eine Einheit ST0RE2 zum Lesen unveranderlicher Werte partitioniert. 

Fur das beschriebene Verfahren sind dann die in Fig. 4 aufgefiihrten Operationen notig. 
Dabei werden gesteuert vom Befehlsregister ALGO nacheinander die folgenden Schritte 
ausgefiihrt: 

1. Der Erkennungsprozess startet mit dem Lesen des Pixelbildes. Nach Abtastung des 
Musters liegt dieses als binarer Bildvektor u in STORE1. Im Prinzip entspricht 
der binaren 1 ein Schwarzpixel und der 0 ein Weisspixel. NORM gruppiert nun die 
binaren Bildelemente auf Basis von Messungen der spalten -und zeilenbezogenen 
Pixeldichten so urn, daB als Resultat ein Graubildvektor v entsteht, der einer 16x16 
Bildmatrix entspricht. Jedes Element des Graubildes ist in 256 Graustufen skaliert. 
NORM schreibt den Vektor v in STOREL 

2. Das Modul MAT liest v aus STORE1 ein sowie aus STORE2 die Hauptachsen- 
transformationsmatrix B. Diese ist aus der Adaptionsphase durch Ausfiihrung einer 
Standard-Hauptachsentransformation iiber die Merkmalsmenge {v} verfiigbar. Es 
wird eine Matrix-Vektor-Multiplikation durchgefiihrt. Das Ergebnis ist der transfor- 
mierte Bildvektor w, der in ST0RE1 gespeichert wird. 

3. Das Modul POLY liest den Vektor w aus STORE1 und eine Liste PSLl aus STO- 
RE2. PSLl enthalt die Steuerinformation t wie die Komponenten des Vektors w zu 
verkniipfen sind. Der x-Vektor wird in ST0RE1 gespeichert. 
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4. Das Modul MAT liest den x-Vektor aus ST0RE1 und die Matrixelementedes RNK, 
die klassenweise als Vektoren A(i a ,j Q ) abgelegt sind. MAT bildet nun fur jeden 
A-Vektor ein Skalarprodukt mit dem x-Vektor. Es entstehen so viele Skalarprodukte 
wie A-Vektoren vorhanden sind. Die Skalarprodukte werden in der Reihenfolge der 
A-Vektoren in den d-Vektor iiberfuhrt. Diesen speichert MAT in ST0RE1. 

5. Das Modul POLY liest den d-Vektor aus STORE1 und die PSL2 aus STORE2. 
POLY baut jetzt den X-Vektor auf, indem es PSL2 auf den d-Vektor anwendet und 
speichert den X-Vektor in ST0RE1. 

6. Der X-Vektor wird vom Modul MAT aus STORE1 gelesen, wahrend MAT diesmal 
die A-Matrix des Bewertungsklassrfikators aus ST0RE2 liest. Diese Matrix enthalt 
soviele A-Vektoren , wie der Bewertungsklassifikator Klassen schatzt. MAT fiihrt 
nach dem Einlesen fur jeden A-Vektor ein Skalarprodukt mit dem X-Vektor aus. 
Die Skalarprodukte werden in der Reihenfolge der A-Vektoren in den D-Vektor 
eingebunden. Diesen schreibt MAT in ST0RE1. 

Nach Ablauf dieser Schleife liegt in STOREl als Ergebnis der D-Vektor parat, der zu 
jeder der K Klassen des Entscheidungsproblems eine Schatzung im Zahlenintervall [0, 1] 
enthalt. Es ist nun Sache eines Nachverarbeitungsmoduls, ob es die zur maximalen 
Schatzung korrespondierende Bewertung des Klassifikators akzeptiert oder rejektiert. 
Eine Unterstutzung der Nachverarbeitung durch die Klassifikation ist dadurch gewahr- 
leistet, daB aus der Adapttonsphase das kontinuierliche Schatzvektorspektrum des Be- 
wertungsklassifikators bekannt ist, aus dem sich bei Anwendung eines Kostenmodells 
statistisch abgesicherte Schwellen zum Rejektieren bzw. Akzeptieren einer Schatzung 
ableiten lassen. Wird ferner die Schatzvektorstatistik im Lesebetrieb in Zyklen erfaBt, 
lassen sich statistische Prognosen fiber eine dynamische Nacjijustierung von Schwellen 
ableiten. 

• Anwendung auf allgemeine alphanumerische Erkennung : 

Bei der Erkennung eines allgemeinen Klassensatzes, der aus 10 ZifFern, 30 Grossbuchsta- 
ben, 30 Kleinbuchstaben und 20 Sonderzeichen besteht, sind insgesamt mindestens90 
Klassen zu diskriminieren. Diesen 90 Klassen entsprachen nun 4005 Paarklassifikatoren, 
wollte man das Erkennungsproblem mit einem vollstandigen Netzklassifikator losen. So- 
wohl Speicherkapazitat als auch Rechenkapazitat von herkommlichen Leseelektroniken 
waren damit iiberladen. Das Problem vescharft sich noch, wenn anstatt der 90 Bedeu- 
tungsklassen aus erkennungstheoretischen Grunden sogenannte Gestaitklassen eingefiihrt 
werden, die die jeweils typischen Schreibformen derselben Zeichenklasse reprasentieren. 
Auf Basis der Gestaitklassen sind dann bis zu 200 Klassen zu trennen. 
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Dieses Problem wird gelost, indem ein Metaklassenklassifikator, bestehend aus ei- 
nem Gruppen-Netzklassifikator und einem Gruppenbewertungs-Klassifikator, trainiert 
wird. Das entstehende Klassifikationssytem ist in Fig. 5 einzusehen. Der Metaklassen- 
Klassifikator erkennt dabei Gruppen von Zeichen. Das Clustern zu Gruppen wird iiber 
eine Metrik ausgefiihrt, die auf Basis der Momentenmatrizen der einzelnen Gestaltklas- 
sen errechnet wird. Dabei werden die Gruppen so strukturiert, daB zueinander ahnliche 
Gestaltklassen in derselben Gruppe liegen. Die Momentenmatrix einer Gruppe entsteht 
dabei durch gewogene Mittelung iiber all die Momentenmatrizen der in der Gruppe re- 
prasentierten Gestaltklassen. Bei beispielsweise 8 Gruppen, die je hochstens 30 Gestalt- 
klassen umfassen , wird der Metaklassen-Klassifikator selbst als Kopplung eines Netzklas- 
sifikators mit einem erfindungsgemaB erzeugten Bewertungsklassifikator realisiert. Zu je- 
dem Gruppenpaar entsteht demnach ein Paarklassifikator. Der Gruppen-Netzklassifikator 
basiert dann auf 28 Paarklassifikatoren gjj. Auf diesen wird ein Gruppenbewertungs- 
Klassifikator Gj trainiert, der in die 8 Gruppen als Klassen schatzt. Im nachsten Schritt 
wird zu jeder Gruppe von Gestaltklassen ein reduziertes Set von Paarklassifikatoren a,-, tjj 
mit entsprechendem Bewertungsklassifikator A Js nach der beschriebenen Methode trai- 
niert. In der Lesephase entscheidet nun zuerst der Gruppenbewertungs-Klassifikator, 
zu welcher Gruppe das betrachtete Zeichen gehort. Anschliessend wird der Reduzierte 
Zeichen-Netzklassifikator schwellenabhangig aktiviert, der zu der oder den entschiede- 
nen Gruppen korrespondiert. Dieser erzeugt zu jeder in der Gruppe vertretenen Ge- 
staltklasse einen Schatzwert. Es werden auf statistischer Grundlage fiir jede Gruppe 
Schwellen rj justiert, die regeln , ab welcher Schatzgiite Dj des Gruppenbewertungs- 
Klassifikators der entsprechende Reduzierte Zeichen-Netzklassifikator a il j J zu aktivieren 
ist. Die Schwellen konnen so eingestellt werden, daB mit moglichst geringem Rechen- 
aufwand immer mindestens einer der Reduzierten Zeichen- Netzklassifikatoren mit hoher 
Sicherheit das richtige Erkennungsergebnis aufweist. Liegen Ergebnisse von mehreren 
Zeichenbewertungs-Klassifikatoren vor, so ensteht ein normiertes Gesamtresultat da- 
durch, daB alle Schatzungen eines aktivierten Zeichenbewertungs-Klassifikators Aj s mit 
der Schatzung des entsprechenden Gruppenbewertungs-Klassifikators (3/ multipliziert 
werden, wahrend die Schatzwerte von nicht aktivierten Zeichen-Netzklassifikatoren vor 
Multiplikation mit der Gruppenschatzung mit l/Anzahl Klassen vorbelegt werden. Mit 
diesem Klassifikationsansatz ist es moglich, allgemeine alphanumerische Erkennungsauf- 
gaben ganz auf der Basis des erfindungsgemaBen Verfahrens auszuftihren. 

Weitere Losungsmoglichkeiten bestehen in folgendem: 
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1. Ausdehnung auf Multiklassenentscheider als Basisklassifikatoren 

Die Methode ist prinzipiell nicht beschrankt auf die Adaption des Bewertungsklas- 
sifikators iiber ein Ensemble von Zwei-Klassenentscheidern, sondern ist auf En- 
sembles von Multi-Klassenentscheidern ausdehnbar. So kann bei einem Ensemble 
aus n-Klassen-Entscheidern, die n-te Klasse jeweils die Komplementklasse zu den 
ubrigen n-1 Klassen desselben Entscheiders in Bezug auf alle vorhandenen Klassen 
darstellen. 

2. Kaskadierende Systeme mit erfindungsgemaBen Klassifikatoren: 

Die Praxis des automatischen Lesebetriebs zeigt, daB bei konstanter Leselei- 
stung eine betrachtliche Aufwandsreduktion moglich ist, indem eine Kontrollstruk- 
tur die hoher strukturierten Erkennungsmodule nur dann aufruft, wenn bereits 
ein schwacher strukturiertes Modul fiir ein vorliegendes Muster eine zu geringe 
Schatzgute erzielt hat. Die erfindungsgemaBen Klassifikatoren ordnen sich in diese 
Strategie nahtlos ein. Es wird ein System der erfindungsgemaBen Klassifikatoren 
aufgebaut, das aufbauend auf ein und demselben Basisklassifikator kaskadierend 
klassifizert. Dabei wird der (n+l)-te Bewertungsklassifikator mit den Mustern trai- 
niert, die der n-te Bewertungsklassifikator mit zu geringer Gute geschatzt hat. 
Im praktischen Lesebetrieb bricht diese Kaskade im allgemeinen bereits nach dem 
ersten Bewertungsklassifikator ab, wird aber fur seltene und schwierige Muster 
fortgesetzt und erhoht dam it die Leserate bei geringer Rechenlaststeigerung. 
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PATENTANSPRUCHE 

1. Verfahren zur Mustererkennung auf statistischer Basis, das fur ein zu erkennendes Ob- 
jekt auf Basis eines vollstandigen Ensembles von Zwei- oder Mehrklassenklassifikatoren 
die Zugehorigkeit zu jeder Zielklasse des Klassensatzes mit einem nurnerischen Wert 
schatzt, der sich durch kaskadierte Anwendung von Polynomklassrfikatoren ergibt, da- 
durch gekennzeichnet, 

daB aus alien Zwei- oder Mehrklassenklassifikatoren uber deren Schatzvektorspektrum 
auf einer Lernstichprobe, in der alle zu erkennenden Klassen muster gen iigend stark ver- 
treten sind, eine Auswahl von denjenigen Zwei- oder Mehrfachklassenklassifikatoren er- 
folgt, deren Schatzungen am starksten zur Minimierung eines uber das Schatzvektor- 
spektrum errechneten skalaren MaBes mit hoher Trennrelevanz beitragen, 
daB mittelsder ausgewahlten Zwei- oder Mehrklassenklassifikatoren uber eine erweiter- 
te Lernstichprobe Schatzvektoren gebildet werden, aus denen durch polynomial Ver- 
kniipfung expandierte Merkmalsvektoren erzeugt werden, auf deren Basis ein Bewer- 
tungsklassifikator zur Schatzung auf alle Zielklassen berechnet wird. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, 

daB als skalares TrennmaB die Summeder Fehlerquadrate im Entscheidungsraum gewahlt 
wird. 

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, 

daB als skalares TrennmaB die Entropie im Verteilungsraum gewahlt wird, wobei die 
Auftretenshaufigkeit jedes Merkmalszustandes fiber die Menge aller Merkmalszustande 
zu ermitteln ist. 

4. Verfahren nach Anspruch 1-3, dadurch gekennzeichnet, 

daB eine groBere Zielklassenmenge in mehrere Zielklassenmengen aufgeteilt wird, fiir 
die dann jeweils eine Auswahl der Zwei- oder Mehrklassenklassifikatoren und daraus der 
Bewertungsklassifikator erzeugt wird, und daB aus den Ergebnissen der Bewertungsklas- 
sifikatoren eine resultierende Gesamtschatzung ermittelt wird. 

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, 

daB aus den Ergebnisvektoren der Bewertungsklassifikatoren ein kartesisch erweiterter 
Produktvektor gebildet wird, aus dem dann ein die Gesamtschatzung ermittelnder resul- 
tierender quadratischer Bewertungsklassifikator gebildet wird. 

6. Mustererkennungsverfahren nach Anspruch 4, dadurch gekennzeichnet, 

daB aus den Ergebnisvektoren der Bewertungsklassifikatoren ein kartesisch erweiterter 
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Produktvektor gebildet wird, der mittels einer Unterraumtransformation in einen trans- 
formierten Vektor iiberfiihrt wird, von dem nur die wichtigsten Komponenten entspre- 
chend der Eigenwertverteilung der Transform ationsmatrix zur Adaption eines quadra- 
tischen Klassifikators verwendet werden, der dann den transform ierten und reduzierten 
Vektor zu einem Schatzvektor auf Zielklassen abbildet. 

7. Verfahren nach Anspruch 4, dadurch gekennzeichnet, 

daB vor Aktivierung der jeweiligen Auswahl der Zwei- oder Mehrklassenklassifikato- 
ren ein Metaklassenklassifikator, der iiber Gruppen von Klassenmengen trainiert wird, 
Schatzungen iiber die Gruppen erzeugt, daB danach diejenigen Zwei- oder Mehrklassen- 
klassifikatoren fiir die Zeichen der Gruppen, deren Schatzwert iiber einer festgelegten 
Schwelle liegt, aktiviert werden und daB dann zur Ermittlung der Gesamtschatzung die 
Gruppenschatzungen mit den Schatzungen der jeweils zugehorigen Zeichenbewertungs- 
Klassifikatoren fiir die in der jeweiligen Gruppe enthaltenen Zeichenklassen nach einer 
einheitlichen Regel so verkniipft werden, daB die Summe iiber alle so verkniipften Zei- 
chenschatzungen eine auf 1 normierbare Zahl ergibt. 

8. Anordnung zur Mustererkennung unter Anwendung des Verfahrens nach Anspruch 1, 
gekennzeichnet durch 

• Mitte! zum Transformieren des binarisierten Eingangsvektors variabler Lange in 
einen nach Graustufen skalierten Ausgangsvektor konstanter Lange (NORM), 

• Mittei zum Transformieren des normierten Eingangsvektors in einen polynominal 
erweiterten Vektor (POLY), 

• Mitte! zum Ausfiihren von Matrixmultiplikationen zur JJerechnung von Skalarpro- 
dukten zwischen Integervektoren (MAT), 

• Mittei zum Speichern fiir die Ablage von Zwischenwerten und zum Adressieren der 
Klassifikatorenkoeffizienten (STORE), 

• Mittei zum Ablegen von Steuerbefehten und ausfuhrbaren Maschinencodes - Be- 
fehlsregister (ALGO). 
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Inte* onal Application No 
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A. CLASSIFICATION OF SUBJECT MATTER 



IPC 6 G06K9/62 



GG6K9/66 



According to International Patent Classification (IPC) or to both national classification and IPC 



B. FIELDS SEARCHED 



Minimum documentation searched (classification system followed by classification symbols) 

IPC 6 G06K 



Documentation searched other than minimum documentation to the extent that such documents are included in the fields searched 



Electronic data base consulted during the international search (name of data base and, where practical, search terms used) 



C. DOCUMENTS CONSIDERED TO BE RELEVANT 



Category " Citation of document, with indication, where appropriate, of the relevant passages 



Relevant to claim No. 



J. SCHURMANN: "Zur Zeichen- und 
Worterkennung beim automatischen 
Anschriftlesen" 

WISSENSCHAFLICHE BERICHTE AEG TELE FUN KEN, 
vol. 52, no. 1-2, 1979, 
pages 31-38, XPO02O417O2 
S. 34-38 Abschnitt "2. 
Mehrkanalklassifikator fiir die 
Ei nzel zei chenerkennung" 



1-8 



II 



Further documents are listed in the continuation of box C. 



□ 



Patent family members arc listed in annex. 



* Special categories of cited documents : 

"A" document defining the general state of the art which is not 

considered to be of particular relevance 
"E" earlier document but published oo or after the international 

filing date 

*L" document which may throw doubts on priority daim(s) or 
which is cited to establish the publication date of another 
citation or other special reason (as specified) 

'O* document referring to an oral disclosure, use, exhibition or 
other means 

"P* document published prior to the international filing date but 
later than the priority date claimed 



T later document published after the international filing date 
or priority date and not in conflict with the application but 
cited to understand the principle or theory underlying the 
invention 

*X* document of particular relevance; (he d aimed invention 
cannot he considered novel or cannot be considered to 
involve an inventive step when the document is taken alone 

*Y* document of particular relevance; the d aimed invention 
cannot be considered to involve an inventive step when the 
document is combined with one or more other such docu- 
ments, such combination being obvious to a person skilled 
in the art 

*&* document member of the same patent family 



Date of the actual completion of the international search 

24 September 1997 


Date of mailing of the international search report 

'5 10.97 


Name and mailing address of the ISA 

European Patent Office, P.B. 5818 PatenUaan 2 
NL • 2280 HV Rijswijk 
Td. (+31-70) 340-2040. Tx. 31 651 epo nl. 
Fax: ( + 31-70) 340-3016 


Authorized officer 

Granger* B 



Form PCT/lSA/110 (Mcond tbaal) (July 1993) 
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PCT/EP 97/02649 



C(Contiau»non) DOCUMENTS CONSIDERED TO BE RELEVANT 



Category * 


Citation of document, wirh indication, where appropriate, of the relevant passages ' 


Relevant to claim No. 


A 


D F SPECHT: "Generation of polynomial 
discriminant functions for pattern 
recognition" 

IEEE TRANS. ON ELECTRONICS COMPUTERS, 

vol. ec-16, no. 3, June 1967, 

pages 308-319, XP0Q2O29561 

S. 317 Abschnitt W B. Many-category 

classifier" 

see page 9; figure 9 
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Form PCT/ISA/2I0 (conUiuiftliOft of fcoood thmt} (July 1992) 



page 2 of 2 



INTERNATION 



RECHERCHENBERICHT 



Intcn .nalei Aktcnzdchen 

PCT/EP 97/G2649 



A. KLASSIFIZIERUNG DES ANMELDUNGSGEGENSTANDES 

IPK 6 GQ6K9/62 GG6K9/66 



Nach dcr Internationalen Patcnuclasa fikaaon (tPK) odcr nach dcr national en Klasafikanon und dcr IPK. 



B. RECHERCHIERTE GEBIETE 



Recherchiertcr Mindcstprufstoff (KJassjfikationssystem und KJ«afikationssymbok ) 

IPK 6 G06K 



Rcchcrchicitc aber nicht rum Mindestprufstoff gchorendc VeroffcnUichungcn, soweit diese unter die rccberchicftcn Gebietc fallen 



Wahrcnd dcr international cn Recherche konsulticne eleJctronische Datcnbank (Name dcr Dateobank und cvtl. verwendete Suchbegriffe) 



C ALS WESENTUCH ANGESEHENE UNTERLAGEN 



Kate gone* Bezcichnung dcr Veroffcnthchung, sowcit erfordcrticb unter Angabc dcr in Betracht kommenden Talc 



Bctr. Anspruch Nr. 



J. SCHURMANN: "Zur Zeichen- und 
Worterkennung beim automatischen 
Anschriftlesen" 

WISSENSCHAFLICHE BERICHTE AEG TELE FUN KEN, 
Bd. 52, Nr. 1-2, 1979, 
Seiten 31-38, XP0020417Q2 
S. 34-38 Abschnitt "2. 
Mehrkanalklassifikator fiir die 
Ei nze 1 ze i chener kennung " 
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V I Weitere V erof fentli chungen ctnd der Foitsctzung von Feld C zu 
1 cntnehmen 



□ 



Siehe Anhang Patcntfamilic 



* Besondere Katcgohcn von angegebencn Veroflentiichungcn 

"A' Verdflendtchung. die den allgemeincn Stand der Tcchruk defroiert, 
abcr mcht als besonders bedcutsani anzuschen ist 

"E* Uteres Dokument, das jedoch erst ara oder nach dan intemabonalcn 
Anmelde datum veroffenUicht worden ist 

*L" Vcroflcntiichung, die gecignct ist, cinen Pnontitianspruch xwafdhaA er- 
schcinen zu latsen, oder durch die das Verdflentlichnngtdstiim cincr 
anderen im Rechcrchcnbencht genannten Vcroflcntiichung belcgt werden 
soil oder die aus cmexn anderen besonderen Gnmd angegeben ist (wie 
ausgefuhrt) 

*0" VcrofTentiichung. die sich auf cine mundlichc Offenbarung, 

cine Bcnutzung, cine Autstdlung odcr andere Maflnahmcn bezieht 

"P* Veroflentli chung, die vor don international en AnmddccUlurn, aber nach 
dem bcanspruchten Prioritiifylsnim veroffentlicht worden ist 



T Spaterc VeroiTcntUchung, die nach dem internatioaalen AiuwidcdAUim 
otter dem Prioritatsdatum vcroffentlicht worden ist und nut dcr 
Anmeldung nicht koUidiert. sondern nur zumVerstandnts dcs dcr 
Erftndung zugrundetiegenden Prinzips odor der ihr rugrundeUegendcn 
Theortc angegeben ist . 

"X* VcrofTendichung von besondcrer Bcdeutung; die beansprucWc ErOndung 
kann allein auf grand dicscr Vcroflcntiichung nicht als ncu odcr auf 
crfindcrischcT Tangkcit bcruhend betrmchtct werden 

*Y* VeroffenUichung von besonderer Bcdeutung; die beanspruchte ErOndung 

karm nicht als auf erttnderischer Taogkeit bcruhend bctrachte t 

werden, wenn die VeroffenUichung nut eincr Oder mehreren andemi 
Vcrolfcntlichungen dieter Kategorie in Verbmduni gebracht wn*d und 
diese Vcrtandung fur cinen Fachmann nahdiegend ist 
VerdfTcntlkhung, die Mitgjied derselbcn PaUaitfamilic ist 



Datum dcs Abschlusscs dcr internationalen Recherche 
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Abscrtdedauim dcs international cn Recherchcnberichtt 
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Name und Postanschrift der Internationale Rcchcrcbenbchorde 
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Tel. ( + 31-70) 340-2040. Tx. 3t 651 epo nl. 
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